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Представлен нейроэволюционный метод улучшения цветных и черно-белых изображений, основанный на локально-адаптив- 
ном подходе к обработке изображений. Для улучшения изображения нейронная сеть настраивается при помощи генетического 
алгоритма с использованием обобщенного критерия оценки качества изображения, опирающегося на уровень контрастности 
обрабатываемого изображения. Приведены примеры использования метода. 


1. Введение 

Актуальность задачи улучшения качества изо- 
бражения обусловлена необходимостью ее реше- 
ния для обработки данных, получаемых в прибо- 
рах и устройствах медицинской диагностики, об- 
наружения мин, распознавания движущихся 
объектов, дефектоскопии и др. Однако для данной 
задачи отсутствует объективный общепринятый 
критерий качества изображения в силу субъектив- 
ности человеческого восприятия, а также в связи 
со сложностью анализа его информативности. В 
большинстве случаев требуется адаптация алго- 
ритма обработки или его параметров под конкрет- 
ное изображения [1]. Хорошими адаптивными 
свойствами обладают искусственные нейронные 
сети (ИНС) [2]. 

Одним из способов решения задачи повышения 
качества изображения является улучшение его за 
счет изменения яркости пикселей. Замечено, что 
яркостная компонента играет одну из ключевых 
ролей в восприятии изображения [3], напрямую 
влияя на его контраст, уровень информативности и 
визуальное качество. Причинами плохого контра- 
ста могут быть низкое качество фотоприемников, 
аппаратуры, неудовлетворительные условия съем- 
ки и др. 

Одним из преимуществ использования ИНС 
является их способность к обучению, которая мо- 
жет реализовываться в виде изменения внутренних 
свойств ИНС для выполнения требуемых функций. 
Здесь важную роль играет то, каким образом оце- 
нивается качество обучаемой сети. В «классиче- 


ском» варианте при ее обучении используют об- 
учающие данные, как правило, представленные в 
виде множества пар векторов (X, У), где X, У- век- 
тора входных и выходных данных, соответственно. 
Для оценки качества ИНС используют среднеква- 
дратичную ошибку выхода, пропорциональную от- 
клонению действительных выходных сигналов 
нейросети от требуемых. Однако, при улучшении 
качества изображений, появляется трудность опре- 
деления эталонного изображения для точной оцен- 
ки эффективности работы ИНС. 

Одним из возможных решений данной пробле- 
мы является использование неточных оценок 
ИНС, отражающих качественные, внешние осо- 
бенности ее функционирования. Например, время 
поддержания стабильного состояния объекта упра- 
вления для задачи нейроуправления [4], процент 
выигранных игр для задачи поиска игровых страте- 
гий [5], качество изображения для задачи обработ- 
ки изображений [6] и т. д. Такие оценки более есте- 
ственны и «интуитивны», однако, как следствие, 
они не могут быть использованы градиентными ал- 
горитмами обучения для подстройки весов связей. 
Поэтому «подходящий» обучающий алгоритм дол- 
жен изменять веса связей ИНС, не имея информа- 
ции о точном значении величины ошибки для каж- 
дого выхода этой ИНС. 

При использовании неточных оценок работы 
ИНС, очень трудно (если вообще возможно) соз- 
дать формализованный метод ее обучения, поэтому 
выбор нужного, с точки зрения поставленной зада- 
чи, набора весов связей ИНС является переборной 
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задачей. Пространство поиска даже для ИНС с про- 
стейшей структурой имеет, теоретически, беско- 
нечно большое количество точек и охватывает все 
множество действительных чисел. И хотя, практи- 
чески, оно ограничено точностью представления в 
ПЭВМ чисел с плавающей запятой, его размер не 
позволяет решить задачу «в лоб», последователь- 
ным перебором, либо случайным поиском. 

Эволюционные алгоритмы хорошо зарекомен- 
довали себя для решения подобных оптимизацион- 
ных задач. Отличительной особенностью этих ал- 
горитмов является способность быстро находить 
субоптимальные области в пространстве поиска. 
Подход к настройке и обучению ИНС с примене- 
нием эволюционных алгоритмов называется ней- 
роэволюционным [4]. Необходимо отметить, что 
нейроэволюционные алгоритмы, помимо задач с 
неточной оценкой ИНС, способны также решать 
задачи с «точной» оценкой работы ИНС, в которых 
ошибка функционирования определяется как 
среднеквадратичная ошибка выхода ИНС [7]. 

В данной работе предлагается использование 
генетического алгоритма [8] для настройки и об- 
учения ИНС при решении задачи улучшения каче- 
ства монохромных и цветных изображений. Дан- 
ный подход к обучению ИНС позволяет оценивать 
успешность функционирования ИНС «целиком», 
путем определения качества обработанного изо- 
бражения, без последующего определения значе- 
ния ошибки выхода ИНС. В основе предлагаемого 
способа лежит применение разработанного нейро- 
эволюционного алгоритма ІМЕѵА [9] для реализа- 
ции локально-адаптивного подхода к обработке 
яркости пикселей. Для улучшения отдельного изо- 
бражения нейронная сеть настраивается при помо- 
щи генетического алгоритма в соответствии с 
обобщенным критерием оценки качества изобра- 
жения, опирающегося на уровень контраста обра- 
батываемого изображения. 

2. Нейроэволюционный алгоритм №ѵА-2 

ИНС обучается с использованием ЫЕѵА-2 - ал- 
горитма обучения нейронной сети, который при 
помощи генетического алгоритма осуществляет 
подбор структуры сети и настройку весов связей. 
Алгоритм ЫЕѵА-2 является модификацией алго- 
ритма ІЧЕѵА, описанного в [7]. Основное отличие 
алгоритмов заключается в том, что в ІЫЕѵА-2 ис- 
пользуется 19-разрядное кодирование весов свя- 
зей, полностью адаптивный оператор мутации, а 
также реализована адаптивная стратегия измене- 
ния размера популяции. В разработанном алгорит- 
ме рассматривается популяция эволюционирую- 
щих нейронных сетей. В генотипе каждой особи 
закодирована информация о связях сети и их весах. 

Особи для скрещивания выбираются с помо- 
щью селекции усечением. Ошибка родительских 
особей не должна превышать среднюю ошибку в 
популяции, при этом количество выбранных осо- 


бей для скрещивания не может быть больше поло- 
вины размера популяции. Реализованные генети- 
ческие операторы скрещивания и мутации учиты- 
вают структуру нейронных сетей, соответствующих 
родительским особям и особям-потомкам. 

В начальной популяции все особи представля- 
ют сети без скрытых нейронов. При этом все вход- 
ные нейроны соединены со всеми выходными ней- 
ронами. Используются нейроны с сигмоидной 
функцией активации. 

В алгоритме реализована адаптивная «+/-» 
стратегия изменения размера популяции на основе 
результатов исследования [9]. Величина изменения 
размера популяции непостоянна и определяется с 
использованием последовательности Фибоначчи. 


3. Метод улучшения качества изображений 

Основная идея предлагаемого метода заключа- 
ется в изменении яркости пикселей исходного изо- 
бражения для повышения его контраста. При этом 
изображение обрабатывается попиксельно. Пред- 
лагаемый метод является модификацией предло- 
женного в [10] метода, однако в данной работе мы 
представляем подход с полной адаптацией ИНС к 
обрабатываемому изображению. 

Предположим, что существует некоторая функ- 
ция Т, которая осуществляет преобразование ха- 
рактеристик каждого пикселя изображения таким 
образом, что обработанное изображение оптималь- 
но с точки зрения выбранного критерия. Тогда за- 
дачу нейросетевого улучшения качества изображе- 
ний можно сформулировать как задачу аппрокси- 
мации неизвестной гипотетической функции Т. 
Задача осложняется тем, что неизвестны вид и 
свойства функции Т, а также отсутствием обще- 
принятого критерия оценки качества изображе- 
ний. 

Для определенности будем считать, что измене- 
ние яркости Ь пикселя производится на основе ин- 
формации о статистических характеристиках ра- 
спределениях яркости в окрестности радиуса г дан- 
ного пикселя, а также с использованием информа- 
ции о величине средней яркости Ь сч исходного изо- 
бражения. Подходы, аналогичные описанному, по- 
казали свою эффективность для эволюционного 
[9] и теоретико-эвристического [11] методов улуч- 
шения качества изображений. 

Таким образом, изменение яркости пикселя 
можно представить в общем виде следующим пре- 
образованием: 

Г(х,у) = Т(Цх,у), Ь аѵе ,4 х ’ уУ ), (1) 


где Цх,у), Г{х,у) - текущее и новое значение ярко- 
сти пикселя, соответственно, Я[ ху] описывается вы- 
ражением: 


= І08 


Цх,у) 


Цх,у)® Р{х,у,с) 
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где обозначает операцию свертки, а Р(х,у,с) функ- 
ция фильтра, позволяющая выделить определен- 
ную пространственную информацию из окрестно- 
сти обрабатываемого пикселя, с - стандартное от- 
клонение фильтра, которое отвечает за количество 
пространственной информации, содержащееся в 
К. В данной работе рассматривается гауссовский 
фильтр, определяемый из: 


р О, у, с) = Ке с ~ , 

где К - константа, определяемая из условия 
\\р{х,у,с)с!хсІу=\ [11]. 

При обработке цветного изображения предва- 
рительно вычисляются значения яркости пикселей, 
а затем проводится обработка полученного монох- 
ромного изображения. Восстановление информа- 
ции о цвете осуществляется следующим образом: 

В, ^ у) = чШ В(х ’ у) ’ 

где тройки (К(х,у), С(х,у), В{х,у)) и (К(х,у), С{х,у), 
В(х,у)) представляют соответственно вектора обра- 
ботанных и исходных цветовых компонент пиксе- 
ля ( х,у ). Основная идея описанного варианта вос- 
становления цветовой информации заключается в 
сохранении соотношений между цветовыми ком- 
понентами каждого пикселя на исходном изобра- 
жении. Это позволяет уменьшить время обработки: 
сложные вычисления производятся только один 
раз для каждого пикселя, а не трижды, как в случае 
с отдельной обработкой каждой цветовой компо- 
ненты. Также это позволяет сохранить точность 
цвета и избежать проблемы цветового сдвига ( соіог 
$Ш/() которая может проявиться в появлении нее- 
стественных цветов и ухудшении визуального вос- 
приятия изображений, в случае с отдельной обра- 
боткой каждой цветовой компоненты [12]. ИНС, 
аппроксимирующая преобразование (1), имеет 
3 входа и один выход. 

Оценка обработанных изображений произво- 
дится с учетом числа пикселей на границах между 
областями с различными значениями яркости и 
количества уровней градации яркости, присут- 
ствующих на изображении. 

Чем больше пикселей будет на границах обла- 
стей различной яркости, тем более контрастным 
будет изображение. Что избежать возможного при 
попытке максимизации контрастности «вырожде- 
ния» изображения в бинарное вводится второй 
фактор, учитывающий количество уровней града- 
ции яркости. 

Качество обработанного изображения / харак- 
теризуется величиной, вычисляемой по следую- 
щим формулам: 


г _а-Ь-ц і 256-ехр (И) 

а-Ъ + 192 ’ 

256 

Н = -Х/,.108/,., (2) 

і=\ 

где а и Ь - соответственно ширина и высота изо- 
бражения в пикселях, /и - число пикселей на гра- 
ницах между областями с различными значениями 
яркости, I, - доля пикселей обработанного изобра- 
жения с /-м уровнем яркости. Первое слагаемое в 
формуле (2) необходимо для максимизации коли- 
чества «граничных» пикселей, а второе - для повы- 
шения количества уровней градаций яркости. Це- 
лью эволюционного обучения ИНС является ми- 
нимизация функции /, значение которой для і - й 
особи будем считать ошибкой сети, соответствую- 
щей этой особи. 

В предыдущей работе [10] и при обучении и при 
работе алгоритма использовался один и тот же па- 
раметр стандартного отклонения гауссового филь- 
тра. По данным [13], при использовании подобно- 
го фильтра для улучшения изображений оптималь- 
ным значением стандартного отклонения гауссово- 
го фильтра является значение из интервала 50-120. 
Уже при с=80 было очень сложно подобрать об- 
учающее изображение, для того, чтобы получить 
удовлетворительное улучшение качества. Со значе- 
нием параметра с=10 метод демонстрировал значи- 
тельное улучшение качества мелких деталей и об- 
щего восприятия изображения. Однако при с=10 
на обработанных изображениях в окрестности рез- 
ких граней (резкое изменение яркости пикселей) 
появлялся хорошо заметный ореол [13], что значи- 
тельно ухудшет общее восприятие изображения, 
несмотря на увеличение количества видимых дета- 
лей изображения. 

В предыдущей работе [10] для ускорения работы 
был использована окрестность пикселя г=50 как 
при обучении, так и при обработке изображения. 
Обучающие изображения и обрабатываемые изо- 
бражения подбирали произвольным образом: не 
было строгого соответствия между изображением 
для обучения и обрабатываемым изображением. 
Было замечено, что нейросеть, обученная на одних 
обучающих изображениях демонстрировала луч- 
шие результаты для одних изображений, в то время 
как для других изображений демонстрировала луч- 
шие результаты нейросеть, обученная на других об- 
учающих данных. Несмотря на то, что удалось по- 
добрать тестовые изображения и параметры алго- 
ритма при которых нейросеть демонстрировала 
удовлетворительное улучшение для широкого 
класса входных изображений, нейросеть обученная 
для узкого класса изображений давала визуально 
лучшие результаты. Исходя из этого, для получе- 
ния хороших результатов, была необходима адап- 
тация ИНС под конкретное обрабатываемое изо- 
бражение. 

Дальнейшие эксперименты показали, что ИНС 
показывает очень хорошие результаты в том случае 
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если она обучается на изображении которое она 
должна улучшать. Также в данном случае было воз- 
можно использование параметра стандартного от- 
клонения фильтра с=80, что уменьшило эффект 
«ореола», хотя не устранило его полностью. Одна- 
ко, данный подход был очень вычислительно ем- 
ким: полный цикл обучение + обработка изобра- 
жения 500x500 пикселей длился примерно 15 мин 
на компьютере с процессором АіЫоп 2000+ . Такое 
время, затрачиваемое на полный цикл, достига- 
лось, в основном, за счет большой вычислительной 
емкости стадии обучения. 

Для ускорения стадии обучения были сделаны 
упрощения: 

1. Обучение осуществляется на масштабирован- 
ном входном изображении. Для изображения 
500x500 пикселей было использовано 20 % мас- 
штабирование, таким образом, ИНС обучалась 
на изображении 100x100. Для обучения жела- 
тельно использовать масштабированных изо- 
бражений размерами не менее 50x50, чтобы 
сохранить соответствие ИНС входному изобра- 
жению. Также лучше использовать масштабных 
коэффициентов с целым числом в знаменателе, 
таких как: 1/2, 1/3, 1/4, 1/5, 1/6 и т. д. 

2. К ь для масштабированного изображения вычи- 
сляется с с масштабированным с аналогичным 
коэффициентом (с=13 для 20 % масштабирова- 
ния). 

3. К ь вычисляется для окружности меньшего ради- 
уса (/=10 для 20 % масштабирования). 

После внесения вышеперечисленных измене- 
ний, метод улучшения изображений продолжал де- 
монстрировать хорошие результаты и имел удовле- 
творительную вычислительную емкость: полный 
цикл обучение+обработка изображения 500x500 
пикселей длился примерно 30 с на компьютере на 
базе процессора АіЫоп 2000+. 


График обработки изображения с использова- 
нием предложенного метода нейроэволюционного 
улучшения изображений приведен на рис. 1. 

4. Результаты 

Для экспериментальной проверки предложенно- 
го метода были использованы следующие параметры: 

• детектор края Собеля [ 1 ] ; 

• максимальное время эволюции - 25 поколений; 

• критерий остановки обучения -/<1,5. 

Предложенный метод показал применимость 

для улучшения широкого спектра изображений: 
медицинской радиографии, сильно задымленных, 
подводных (рис. 2, а, б), затуманенных изображе- 
ний (рис. 2, в, г), фотографий сделанных ночью, 
любительских снимков, содержащих сильно зате- 
ненные области (рис. 2, д, е), снимков поверхности 
Земли, полученных со спутника. 

Тестовые изображения были взяты из [14, 15]. 

ИНС, полученные в результате нейроэволюци- 
онного обучения, были простыми: 0-3 скрытых 
нейрона и 3-10 связей. Пример ИНС, обученной 
на изображении представленном на рис. 3, а (мас- 
штабированное с коэффициентом 1/5 изображе- 
ние с рис. 2, а), приведен на рис. 3, б. Эта ИНС 
имеет 1 скрытый нейрон и 6 связей и представляет 
собой одну из часто получаемых структур ИНС. 

Необходимо заметить, что сеть, обученная для 
улучшения определенного изображения, может 
быть успешно применена для улучшения других 
изображений с близким распределением яркости и 
детальностью. Пример такого приложения приве- 
ден на рис. 3. Здесь ИНС (рис. 3, б), обученная на 
изображении (рис. 3, а) и настроенная для улучше- 
ния конкретного изображения (рис. 2, а), показала 
неплохие результаты на другом изображении с 
близким распределением яркости (рис. 3, в). 



Рис. 1 . Г оафик обработки изображения с использованием метода нейроэволюционного улучшения изображений. Время вы- 
числений I приведено для компьютера на базе процессора АіЫоп 2000+ 
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Рис. 2. Примеры применения метода для улучшения: а), б) подводных; б), в) затуманенных изображений; д), е) любительских 
фотографий с сильно затененными областями; а), в), д) исходные изображения; б), г), е) полученные изображения 


Заключение 

Представлен новый метод улучшения качества 
изображений с использованием эволюционирую- 
щей нейронной сети, адаптирующейся к обрабаты- 
ваемому изображению. Несколько упрощений бы- 
ли сделаны для увеличения скорости адаптации. 
Нейронная сеть, обученная для улучшения опреде- 


ленного изображения, может быть применена для 
обработки других изображений с близким распре- 
делением яркости и детальностью. Результаты экс- 
периментов показали применимость предложен- 
ного метода для улучшения изображений различ- 
ных классов. 

Работа поддержана грантом РФФИ№ 06-08-00840. 
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Естественные науки 



Рис. 3 . Пример применения И НС для улучшения изображения с близким распределением яркости и детальностью: а) обучаю- 
щее изображение; б) полученная структура нейронной сети ; в) исходное изображение; (г) изображение после обра- 
ботки И НС 
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